Compositional Video Generation via Inference-Time Guidance
利用推理时引导实现组合式视频生成
🧭 组合视频生成 · 推理时引导
Tel-Aviv University · Independent Researcher · Bar Ilan University · NVIDIA Research
基于交叉注意力图训练轻量组合分类器，在推理时引导冻结T2V模型提升组合正确性，无需微调
📌 工作参考价值（4 点）
- 推理时引导范式可迁移：在电商图文生成或Agent多模态响应中，若需精确控制实体间关系/属性组合，可利用预训练模型内部的交叉注意力图训练轻量组合分类器，在解码早期步骤注入梯度引导，避免重训基座模型。
- 冻结大模型+外部引导头：不微调生成模型本身，仅外挂一个基于冻结VLM backbone的分类器，保持基座模型的泛化能力，适合快速适配新的组合约束（如商品多属性描述、活动文案组合语）。
- 无布局/框的弱监督组合控制：无需用户提供空间布局或检测框，仅靠文本提示即可隐式约束组合关系，对电商场景中大批量自动化内容生成（如商品详情视频）有工程简洁性优势。
- 注意力特征重用：利用扩散模型已有的交叉注意力图作为组合性特征，训练开销小，可直接嵌入现有生成pipeline，适合资源受限的业务环境进行组合性提升。